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Abstract of correspondent: US6304187 

The invention relates to a method and device 
using an optoelectronic sensor in combination 
with an electronic unit arranged inside a motor 
vehicle. The sensor is adjusted in line with the 
head of the driver sitting in said motor vehicle at 
the same time as the inner rear-view mirror, 
which comprises a one-way mirror behind which 
the sensor is positioned. After detecting the 
presence of a driver seated in the motor vehicle 
they frame first the whole face and then the eyes 
of the driver in the video signal raser emitted by 
the sensor aided by the electronic unit and then 
determine the successive durations of blinking 
episodes, which are compared with a limit value 
situated between one duration typical of an 
awake person and another duration typical of a 
drowsy person. A signal (transmitted by an alram 
unit) suitable for waking the driver is triggered 
when the duration of blinking exeeds the limit 
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EP 1 050 032 

Verfahren und Vorrichtung zur Erfassung und.Ver- 
hinderung des Einschlafens eines Fahrzeugfuhrers 

Beschreibung 

Die vorliegende Erfindung hat ein Verfahren und eine Vorrichtung zur 
kontinuierlichen Uberwachung des Wachsamkeitszustandes des Fahrers 
eines Kraftfahrzeuges zur Aufgabe, urn eine mogliche Neigung zum Ein- 
schlafen desselben zu erfassen und dieser vorzubeugen. 

5 

Es ist bekannt, dass ein nicht zu vemachlassigender, wenn nicht so'gar 
• groBer Anteil an StraSenverkehrsunfallen wegen vollstandigen Oder 
teilweisen Einschlafens (Schldfrigkeit) des Fahrers eines Kraftfahrzeuges 
(Personenkraftwagens, Nutzfahrzeuges, Kleinlastwagens, Lastkraftwa- 
10 gens) mit zahlreichen Toten und Verletzten passiert. 

Von daher besteht ein menschliches und wirtschaftliches Interesse, das 
Einschlafen eines Fahrers. zu verhindera sobald dieser eine Neigung zum 
Einschlafen zeigt, indem ein im Wesentlichen akustischer Alarm erzeu.gt 
15 wird, urn ihn wach zu halteh bzw. aufzuwecken. 

Urn die Neigung eines' Fahrers zum Einschlafen zu erfassen, ist fur ein 
Kraftfahrzeug vorgeschlagen worden 

20 - einerseits die Veranderung der Betatigung des Lenkrades durch 
einen Fahrer, der zum Einschlafen neigt, zu erfassen und 

andererseits die Veranderung der vertikalen Bewegung der Au- 
genlider eines Fahrers/ der zum Einschlafen neigt, zu erfassen. 

25 
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Die vorliegende Erfindung wendet eine Erfassung der zweiten Art (U- 
berwachung der Augenlider) an und sie basiert auf einer physiologi- 
schen Feststellung, und zwar der Veranderung des Zwinkerns der Augen 
5 sowie moglicherweise der Zeitintetvalle zwischen zwei aufeinander fol- 
genden Augenbewegungen, also der Frequenz der Zwinkervorgange 
wenn. eine Person, vor dem Einschlafen, von dem Wachsamkeitszu- 
stand in. den Schlafrigkeits- bzw. Schlafzustand ubergeht: die Zeitdauer 
. des Zwinkerns der Augen einer Person liegt bei 100 bis 200 ms (Millise- 

10 kunden), wenn sie wach 1st. und bei 500 bis 800 ms, wenn sie schlafrig 
1st, wohingegen das Zeitintervall von zwei aufeinander folgenden Zwin- 
kervorgdngen der Augen, das im Wachsamkeitszustand im Wesentli- 
chen regelmaSig 1st in einem relativ weiten Feld im Schldfrigkeitszu- 
stand variiert. Diese Variation der Zeitdauer der Zwinkervorgange wird 

15 im Wesentlichen im Rahmen der Erfindung yerwendet. 

Das Verfahren und die Vorrichtung nach der Erfindung erfassen den 
Anstieg der Zeitdauer der Zwinkervorgange der Augen des Fahrers und 
losen einen akustischen oder anderen Alarm aus, wenn diese Zeitdauer, 
.20 die insbesondere zwischen 200 ms und 500 ms liegt, einen vorbestimm- 
ten Schwellenwert ubersteigt, beispielsweise gleich 350 ms, wobei die- 
ser Schwellenwert moglicherweise in Abhangigkeit der Physiologie des 
Fahrers verdndert werden kann. 

25 In der am 26. Juli 1996 eingereichten franzosischen Patentanmeldung 
Nr. 96.09420 und der am 22.- Juli 1997 eingereichten Internationalen Pa- 
tentanmeldung (P.C.T.) PCT/FR9 7/01 354, zu der die Prioritat der franzosi- 
schen Patentanmeldung .beansprucht wird, hat der Erfinder dies.er bei- 
den Anmeldungen, der. ebenfalls der Erfinder der vorliegenden Erfin- 

30 dung ist, ein Verfahren und eine Vorrichtung, die im Echtzeitverfahren 
funktionieren, fur das Lokalisieren und die Ortsbestimmung eines Berei- 
ches relativer Bewegung innerhalb einer Szene, sowie der Bestimmung 
der Geschwindigkeit und der Bewegungsrichtung, beschrieben. 

35 Unter den beabsichtigten Anwendungen fur dieses Verfahren und die- 
se Vorrichtung wurden in den genanhten Patentanmeldungen deren 
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Verwendung zur Beobachtung und Gberwachung eines Bereiches be- 
schrieben, der aus dem Kopf eines Kraftfahrzeugfahrers besteht, urn 
dessen Einschlafen zu erfassen und dem vorzubeugen. 

5 Nach einer besonderen Ausfuhrungsform des Verfahrens und der Vor- 
richtung der Patentanmeldungen: 

wird im Echtzeitverfahren ein Videosignal, das fur aufeinander 
folgende Bilder der Augen des Fahrers reprasentativ ist, erzeugt; 

10 

dieses Videosignal wird nach und nach und kontinuierlich bear- 
beitet, urn . 

in dem Bild der Augen des Fahrers die vertikalen Bewe- 
15 gungen der Augenliden die fur deren Zwinkern reprasen- 

tativ sind, zu erfassen; 

die Frequenz dieser vertikalen Bewegungen zu bestim- 
men, und 

20 

die Frequenzen unterhalb eines bestimmten Schwellen- 
wertes, der im Wesentlichen der Zwinkerfrequenz des Fah- 
rers im wachen Zustand entspricht, duszumachen; und 

25 - im Falle, dass die Frequenzen diesen Schwellenwert im unteren 
Wertebereich uberschreiten, wird ein Alarm ausgelost, um den 
Fahrer aufzuwecken. 

Die vorliegende Erfindung hat Verbesserungen des Verfahrens und der 
30 Vorrichtung der vorstehend genannten Patentanmeldungen in Bezug 
auf ihre Anwendung bei der Gberwachung eines Kraftfahrzeugfahrers 
zur Aufgabe, um seine mogliche Neigung zum Einschlafen zu erfassen. 

So werden in dem Artikel von Hiroshi Ueno et al. mit dem Titel „Deve- 
35 lopment of drowsiness detection system",- der in der Zeitschrift des Insth 
tute of Electrical and Electronics Engineers (IEEE) vom 31. August 1994 
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auf den Seiten 15-20 veroffentlicht wurde, die verschiedenen Techni- 
ken zur Erfassung derSchlafrigkeit des Fahrers am Steuer eines Kraftfahr- 
zeuges untersucht. insbesondere wird hier die Verwendung einer Vi- 
deokamera in Verbindung mit einem Rechner zur Verarbeitung des Vi- 
deobildes mittels eines Programmes erwdhnt, das einerseits die Erfas- 
sung des Gesichtes des Fahrers, im Wesentlichen eines Rechteckes, das 
ein Auge einschlieBt, durchfuhrt und andererseifs des Verhaltnisses der 
Zeitdauern, in denen die Augen geoffnet und geschlossen sind, urn Kri- 
terien des Einschlafens zu bestimmen. 



Die veroffentlichte deutsche Patentanmeldung DE 197 15 519 und die 
entsprechende veroffentlichte franzosische Patentanmeldung Nr. 2 747 
346 bes.chreiben ein Gerat und ein Verfahrea urn den Schlafrigkeitszu- 
stand eines Fahrzeugfahrers einzuschatzen, bei denen eine Videoka- 
15 mera verwendet wird, die an dep Fussen des Fahrzeugfahrers ange- 
ordnet ist, und ein Rechner zur Verarbeitung des von der Karnera gelie- 
ferten Bildes mit einem Programm, das das Zwinkern der Augen durch 
Bestimmung eines Zeitverlaufes zwischen dem Beginn und dem Ende 
der Zwinkervorgange erf asst. Insbesondere erbringt eine Einheit 10 



die Speicherung des Videobildes und dessen Verarbeitung, urn 
einen Bereich, der die Augen des Fahrers umfasst, zu bestimmen, 

der Augenlider des Fahrers und deren vollstandiger Offnung; und 

eine Verarbeitung in einem Speicher 1 1 und einer Rechnerein- 
heit 22 in Kombination mit der Einheit 10, um das Verhaltnis des 
Auftretens Iqngsamer Zwinkervorgange zu berechnen. 



30 Die veroffentlichte Internationale Patentanmeldung -WO 97/ 01246 be- 
handelt ein Sicherheitssystem, das eine Videokamera umfasst, die in 
dem inneren Ruckspiegel eines Kraftfahrzeuges angeordnet ist, und 
einen davon entfernten Videobildschirm zum Analysieren dessen, was 
in dem Fahrzeug und um das Fahrzeug herum passiert, als auch was 

35 aufgrund der Aufzeichnung des Videoausgqngssignales der Karnera 
passiert ist. Es hcndelt sich .tatsachiich um eine versteckte. Karnera (in 
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dem Ruckspiegel), urn den Blicken von Unberechtigten zu entgehen, 
und die einen ausgedehnten Bereich, der das Innere und die Umge- 
bung des Fahrzeuges einschlieBt, beobachtet, wobei die Aufzeichnung 
ermoglicht, spater nachzuvollziehen, was sich in diesem Bereich (Seite 
5 6, Zeilen 13 bis 19) abgespielt hat und nicht um einen Sensor, dessen 
Sichtwinkel im Wesentlichen auf das Gesicht des Fahrers beschrankt ist 
um dessen mogliches Einschlafen zu erfassen und ihn gufzuwecken. 

In diesen alteren Dokumenten werden eine wirkliche Videpkamera und 
10 ein externer Rechner angewendet, wobei die Erfassung des Zwjnkerns 
der Augen in dem Artikel und die franzosische und die deutsche An- 
meldung eine umfangreiche Verarbe.itungseinheit erfordern, wohinge- 
gen die intemationale Anmeldung nicht das Problem der Erfassung des 
Einschlafens lost, da der Fahrer, wenn er eingeschlafen ist, weder den 
15 Videobildschirm noch die Aufzeichnung der Videobilder betrachten 
kann. Es ist offensichtlich, dass dieses Dokument nicht denselben tech- 
nischen Bereich betrifft wie die beiden vorgenannten Schriftstucke. 

(m Verhaltnis zu diesen diteren Dokumenten bietet die vorliegende Er- 
. 20 findung eine verbesserte Methode zum Messen des Zwinkerns der Au- 
gen des Fahrers; tatsdchlich 

ist es moglich, in dem Ruckspiegel des Fahrzeuges einen einfa- 
chen Sensor anwenden zu konnen, (moglicherweise den Sensor 
25 einer Miniaturvideokamera), insbesondere einen MOS-Sensor, 

der nicht unbedingt das herkommliche Videoformat aufweist; 

wird eine Bewegung der optischen Achse des Sensors : ausge- 
fuhrt die mit der Verstellung des Ruckspiegels durch den Fahrer 
30 verbunden ist um die Achse auf das Gesicht des Fahrers auszu- 

richten; 

wird eine vollstandige optische Wahrnehmung ermoglicht wo- 
bei ein Sch'altkreis eine sofortige Erfassung der Bewegungen der 
35 . Augenlider gewdhrleistet; 
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wird ein sehr einfacher Prozessor zur Verarbeitung der Informati- 
onen verwendet, die von dem Sensor geliefert werden; 

wird die mogliche Integration des Sensors der Elektronik, die mit 
5 diesem und dem Rechner verbunden 1st, in eine'elektronische 

Zelle (Chip) ermoglicht, wobei das Ganze in dem Ruckspiegel 
••' angeordnet ist; 

wird die Moglichkeit geboten, eine derartige Zelle;. die im Innern 
10 des Ruckspiegels angeordnet ist, mit dem vorgesehenen Prozes- 

sor in dem Armaturenbrett zu verbinden, wobei der Ruckspiegel 
somit ein intelligences Gerat zur Erfassung des Eihschlafens zu 
vernunftigen Kosten darstellt, aufgrund der Tatsache, dass es im 
Verhdltnis zu einem herkommlichen Innenruckspiegel einfach ei- 
15 ne Zelle und eine mechanische Einstellungsvorrichtung dieser zu- 

satzlichen Zelle umfasst. 

Unter diesen Voraussetzungen hat die Erfindung zunachst ein Verfahren 
zur Aufgabe, urn kontinuierlich den Wachsamkeitszustand des Fahrers 
20 eines Kraftfahrzeuges zu uberwachen, um dessen mogliche Neigung 
zum Einschlafen zu verfassen und dieser vorzubeugen, 

das darin besteht 

25. - im Echtzeitverfahren ein Videosignal zu erzeugen, das fur die 
aufeinander folgenden Bilder von mindestens dem Gesicht des 
Fahrers reprasentativ ist; 

. dieses Signal aufeinander folgend und kontinuierlich zu bearbei- 
30 ten, um * . 

in diesem Signal de n Abschnitt zy^erfasien, der tatsdchlich 
dejnJ[lJ_d^^ 

35 • den Wert eines Parameters bezuglich des Zwinkerns der 

Augehlider zu bestimmen, der sich beim Ubergang vom 
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wachen in den schldfrigen Zustand des Fahrers beiderseits 
eines Schwetlenwertes stark verandert, und 

im . Echtzeitverfahren die Uberschreitung dieses Schwel- 
5 lenwertes, der fur den Ubergang vom. wachen in den 

schldfrigen Zustand des Fahrers rep.rdsentativ ist, durch 
den Wert dieses Parameters auszumachen; und 

als Reaktion quf die Uberschreitung dieses Schwellenwertes ei- 
10 nen Alarm auszulosen, der den Fahrer dufweckt; 

und das dadurch gekennzeichnet ist, dass 

einerseits das Videosignal erzeugt wird, indem ein optoelektroni- 
15 scher Sensor verwendet wird, der mit einem Ruckspiegel des 

Kraftfahrzeuges. verbunden und derart dimensioniert und ange- 
ordnet ist, dass er im Wesentlichen das Bild des Gesichtes des 
Fahrers, der sich auf seinem Sitz befindet, empfangt und desseri 
?P^ c ^J^^^^Ll den_§HP f ^ n 9 von Lichtstrahlen zu dem Kopf 
20 des Fahrers ger ichtet ist, wenn der Ruckspiegel ri chtig'eing esteilt 

ist; und 

andererseits die Bearbeitung des Videosignales, nachdem die ' 
Anwesenheit des Fahrers an seinem Platz erfasst wurde, aufein- 
25 ander folgend und kontinuierlich darin besteht, 

aus einer ^nalyse^ der PixeH be[ der Bewegung zwischen_ 
zwei aufeinander folgenden R astern derselben Art des Vi- • 
deosignales die horizontalen Bewegungen des Fahrers zu 
30 erfassen, umjjasj^sicht desselben in den entsprechen- 

den, aufeinander folgenden Rastern des Videosignales 
einzugrenzen, . . 

aus einer Analyse der Pixel bei der Bewegung zwischen 
35 zwei aufeinander folgenden Rastern derselben Art des Vi- 

deosignales die vertikalen Bewegungen in dem auf diese 
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Weise eihgegrenzten Gesicht des Fahrers zu erfassen, um 
die Augen desseiben einzugrenzen, 

aus einer Analyse der Pixel bei der Bewegung zwischeh 
zwei aufeinander folgenden Rastern derselben Art des Vi- 
deosignales die aufeinander folgenden Zeitdauern des 
Zwinkerns der auf diese Weise eingegrenzten Augen des- 
seiben zu bestimmen, wobei diese Zeitdauern den er- 
wahnten Parameter darstellen, 

diese' aufeinander folgenden, auf diese Weise bestimm- 
ten Zeitdauern des Zwinkerns mit einem Schwellenwert. zu 
vergleichen, der fur den Ubergang vom wachen in den 
schlafrigen Zustand des Fahrers reprasentativ ist, und 

einen Alarm, der den Fahrer aufweckt, auszulosen, wenn 
. . die Zeitdauern des Zwinkerns den Schwellenwert im obe- 

ren Wertebereich Oberschreiten. 

20 Vorteilhafterweise ist der Se nsor in dem G ehause des .Rj^kspiegels hin- 
ter dem Spiegelglas desseiben angeordnet, welcher von einem Spiegel 
ohne Belag gebildet wird, wobei die optische Empfangsachse des Sen- 
sors zu einer Achse symmetrisch ist, die in der mittleren Vertikalebene 
des Fahrzeuges im Verhdltnis zu einer orthogonalen Achse des belaglo- 

25 sen Spiegels ausgerichtet ist. 

Vorzugsweise wird die Anwesenheit des Fahrers auf seinem Platz erfasst, 
indem die Anzahl der entsprechenden Pixel in den aufeinander folgen- 
den Rastern derselben Art des Videosignales bestimmt wird, fur die eine 

30 signifikante Bewegung erfasst wird und indem diese Anzahl mit der Ge- 
samtpixelanzahl pro Raster des Videosignales verglichen wird, um zu 
bestimmen, ob das Verhdltnis zwischen der Pixelanzahl, die eine Bewe- 
gung darstellen, und. der Gesamtpixelanzahl pro Raster einen Schwel- 
lenwert uberschreitet, der fur den Ubergang der Abwesenheit des Fah- 

35 rers an seinem Platz zur Anwesenheit eines Fahrers an seinem Platz re- 
prasentativ ist. 



5 
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Das Verfahren kann in bevorzugten Ausfuhrungsformen daruber hinaus 
eines oder mehrere der folgenden Merkmale umfassen: 

5 - zwischen den Phasen der Erfassung der horizontalen Bewegun- 
gen, urn das Gesicht des Fahrere einzugrenzen # und der Erfas- 
sung der vertikalen Bewegungen, um die Augen desselben ein- 
zugrenzen, eine Phase der breiten Eingrenzung der Augen vorzu- 
sehen, indem ein Abschnittdes eingegrenzten Gesichtes in Be- 

10 tracht gezogen wird, der die Augen und ihre unmittelbare Um- 

gebung umfasst, wobei das anthroponrietrische Verhdltnis zwi- 
schen dem Abschnitt und dem ganzen Gesicht einer Person an- 
gewendet wird; 

15 - gleichzeitig mit der Phase der Bestimmung der Zeitdauern des 
Zwinkerns der Augen eine Phase zur- Bestimmung der Zeitinterval- 
le zwischen zwei aufeinander folgenden Zwinkervorgangen der- 
selben vorzusehen und einen starkeren Alarm auszulosen, sobald 
diese Zeitintervalle eine UnregelmaBigkeit aufweisen,. die einen 

20 bestimmten Schwellenwert Oberschreitet; 

kontinuierlich die Daten, die zumindest einen der folgenden Pa- 
rameter betreffen, erneut zu aktualisieren: horizontale Bewegun- 
gen, vertikale Bewegungen, Zeitdauern der Zwinkervorgange 
25 der Augen, Intervalle zwischen aufeinander folgenden Zwinker- 

vorgangen, um die Annaherungen der Normalwerte dieser Pa- • 
rameter fur den tatsdchlich anwesenden und sich im wachen 
Zustand befindlichen Fahrer zu verbessem; 

30 - die verschiedenen aufeinander folgenden Phasen des Verfah- 
rens werden mittels Aufeinander folgender Informatikprogramme 
durchgefuhrt die sich auf die Bearbeituhg der aufeinander fol- 
genden Werte der entsprechenden Pixel der Raster derselben 
Art des Videosignales beziehen, welches durch den Sensor erhal- 

35 ten wird. 
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Der Gegenstand der vorliegenden Erfindung ist ebenfalls eine Vorrich- 
tung zur kontinuierlichen Oberwachung des Wachsamkeitszustandes 
des Fahrers eines Kraftfahrzeuges, um eine mogliehe Neigung zum Ein- 
schlafen desselben zu erfassen und dieser vorzubeugen, bei der das 
5 vorstehend genannte Verfahrenangewendet- wird und die dadurch 
gekennzeichnet ist, dass sie in Kombination urnfasst: 

a) eihen optoelektronischen Sensor, der, in Kombination mit einer 
angeschlossenen Elektronik als Reaktion auf den Empfang von 

10 Lichtstrahlen, ein Videosignal mit Rastern derselben Art Oder ent- 

sprechenden, aufeinander folgenden ausarbeitet, wobei der 
Sensor mit einem Ruckspiegel des KjaWohrzeuge^ 
und derart dimensioniert und angeordnet ist um^ 
chen das Bild des Gesichtes des Fahrers', der sich am Platz befin- 

15 ^deirzu' empfangen, und dessen optische Achse zum Empfang 

der Lichtstrahlen auf den Kopl ; des Fahrers ge wenn der 

Ruckspiegel richtig eingestellt.ist; und 



20 



b) mindestens einen integrierten Schaltkreis, umfassend 

Mittel, um die Anwesenheit des Fahrers an seinem Platz in dem 
Fahrzeug zu erfassen, und um ein Anwesenheitssignal auszuar- 
beiten; 



25 - Mittel, die durch dieses Anwesenheitssignal aktiviert werden, um 
aus einer Analyse der Pixel bei der Bewegung zwischen zwei 
aufeinander folgenden Rastern derselben Art des Videosignales, 
die horizontalen Bewegungen des Fahrers zu erfassen, um das 
Gesicht desselben in den aufeinander folgenden Rastern dersel- 

30 ben Art des Videosignales einzugrenzen, und um ein Endsignal 

der Gesichtseingrenzung auszuarbeiten; 

Mittel, die durch das Endsignal der Gesichtseingrenzung aktiviert 
werden, um aus einer Analyse der Pixel bei der Bewegung zwi- 
35 schen zwei aufeinander folgenden Rastern derselben Art des 

Abschnittes der aufeinander. folgenden Raster derselben Art des 
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Videosignales, das der Gesichtseingrenzung eritspricht, die verti- 
kalen Bewegungen in dem auf diese Weise eingegrenzten Ge- 
sicht des Fahrers zu erfassen, urn die Augen desselben in dem 
Abschnitt der Raster dieses Signales einzugrenzen, und urn ein 
5 Endsignal der Eingrenzung der Augen des Fahrers auszuarbeiten; 

Mittel, die durch das Endsignal der Augeneingrenzung aktiviert 
werden, um aus einer Analyse der Pixel bei der Bewegung zwi- 
schen zwei aufeinander folgenden Rastern derselben Art des 
Abschnittes der aufeinander folgenden Raster derselben Art des 
Videosignales, das der Eingrenzung der Augen entspricht, die 
aufeinander folgenden Zeitdauern der Zwinkervorgdnge der 
Augen des Fahrers zu bestimmen; * 

15 - Mittel, um diese aufeinander folgenden, auf diese Weise be- 
stimmten Zeitdauern der Zwinkervorgdnge mit einem Schwel- 1 
lenwert zu vergleichen, der fur den Ubergang vom wachen in 
den schldfrigen Zustand des Fahrers reprdsentativ ist; und 

20 - Mittel, um, wenn die Zeitdauern der Zwinkervorgdnge den. 

Schwellenwert uberschreiten, einen Alarm auszulosen, der den 
Fahrer aufweckt. 

Vorteilhafterweise ist der Sensor in dieser Vorrichtung in dem Gehduse 
des Ruckspiegels hinter dem Spiegel desselben angeordnet, der ein 
Spiegel ohne Belag ist, wobei der Sensor von ^einem ersten Ende einer 
ersten Stange getragen wird, die durch ein Kugelgelenk hindurch einen 
Bugel durchquert, der von dem Gehduse des Ruckspiegels im Innern 
desselben getragen wird, wobei das zweite Ende dieser Stange mittels 
eines Gelenkes an dem ersten Ende einer zweiten'-Stange frei angelenkt 
ist, die durch ein Kugelgelenk hindurch das Gehause des Ruckspiegels 
durchquert, wohingegen das zweite Ende der zweiten Stange an der 
Karosserie des Fahrzeuges uber der Windschutzscheibe befestigt ist, so 
dass die optische Empfangsachse des Sensors zu einer Achse symmet- 
risch ist, die in der mittleren Vertikalebene des Fahrzeuges in Verhdltnis 
zu einer orthogonalen Achse des belaglosen Spiegels ausgerichtet ist. 



10 
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Vorzugsweise umfassen die Mittei; urn die Anwesenheit des Fahrers an 
seinem Platz zu erfassen und um ein Anwesenheitssignal auszuarbeiten,.. 
Mittei, um die Anzahl von Pixeln in den aufeinander folgenden Rastern 
5 derselben Art des Videosignales, fur die eine signifikante Bewegung 
erfasst wird, zu bestimmen, Mittei, um die Anzahl mit der Gesamtpixel- 
anzahl pro Raster des Videosignales zu vergleichen, um zu bestimmen, 
ob das Verhaltnis zwischen der Pixelanzahl, die einer Bewegung ent- 
spricht, und der Gesamtpixelanzahl pro Raster einen Schwellenwert 0- 
10 berschreitet, der fur den Qbergang von dem Zustand der Abwesenheit 
des Fahrers an seinem Platz in den Zustand der Anwesenheit eines Fah- 
rers an seinem Platz reprasentativ ist. 

Die Vorrichtung kann in den bevorzugten Ausfuhrungsformen auBer- 
15 dem eines Oder mehrere der folgenden Merkmale umfassen, und zwar: 

Mittei, die durch das Endsignal der Gesichtseingrenzung aktiviert 
werden, um in dem Abschnitt der aufeinander folgenden Raster 
des Videosignales, das der Eingrenzung des Gesichtes entspricht, 

20 . einen kleineren Abschnitt auszuwahlea der einer breiten oder 

groben Eingrenzung der Augen des Fahrers entspricht und die 
Augen und ihre unmittelbare Umgebung umfasst, durch Anwen- 
dung des anthropometrischen Verhdltnisses zwischen der breiten 
Eingrenzung und dem gesamten Gesicht einer Person, und Mit- 

. 25 tel, um ein Endsignal der breiten Eingrenzung der Augen auszu- 

arbeiten, wobei dieses Signal die Mittei zur Erfassung der vertika- 
leri Bewegungen in dem Gesicht des Fahrers aktiviert; 

Mittei, die parallel zu den Mitteln zur Bestimmung der aufeinan- 
30 der folgenden Zeitdauern der Zwinkervorgange der Augen funk- 

tionieren und somit durch das Endsignal der Eingrenzung der Au- 
gen aktiviert werden, um die Zeitintervalle zwischen zwei aufein- 
ander folgenden Zwinkervorgangen zu bestimmen und um einen 
starkeren Alarm auszulosen, sobald diese Zeitintervalle eine Un- 
35 . regelmdSigkeit aufweisen, die einen bestimmten Schwellenwert 

ubersteigt; 
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Mittel, urn kontinuierlich die Daten erneut zu aktudlisieren, die 
mindestens einen der folgenden Parameter. betreffen: horizonta- 
le Bewegungen, vertikale Bewegungen, Zeitdauern der Zwinker- 
5 vorgdnge der Augen, Intervalle zwischen aufeinander folgenden 

Zwinkervorgangen, um die Annaherungen der Normalwerte des 
Parameters zu verbessern, der fur den tatsdchlich anwesenden 
und sich im wachen Zustand befindlichen Fahrer gilt. 

10 Vorteilhafterweise ist die Gesamtheit Sensor - Elektronikeinheit zur Bear- 
beitung so ausgefuhrt wie beschrieben und in den beiden oben 
genannten Patentanmeldungen dargestellt, die denselben Erfinder 
haben wie die vorliegende Erfindung. 

15 Die Erfindung hat ebenfalls einen Ruckspiegel fur ein Kraftfahrzeug als. 
neuartiges, industrielles Produkt zur Aufgabe, der dadurch gekenn- 
zeichnet ist, dass sein Spiegel aus einem belaglosen Spiegelglas gebil- 
det ist, und dadurch, dass er hinter diesem Spiegelglas einen optoe- 
lektronischen Sensor umfasst, der mit einer Elektronikeinheit zusammen- 

20 wirkt, wie derjenigen, die in der am 26. Juli 1996 eingereichten franzosi- 
schen Patentanmeldung Nr. 96.09420 und in der am 22. Juli 1997 einge- 
reichten International Patentanmeldung (P.C.T.) PCT/FR/97/01354 
beschrieben ist, wobei diese Einheit ebenfalls im Innem des Ruckspie- 
gels angeordnet ist und eine Alarmvorrichtung auslost, sobald die Ein- 

25 heit bestimmt, dass die vertikalen Bewegungen der Augenlider einer 
Person, die die Vorderseite des Spiegelglgses anschaut, einer Zeitdauer 
von Zwinkervorgangen der Augen entspricht, die einen vorbestimmten 
Schwellenwert uberschreitet, der in dem Zeitinten/all eingeschlossen ist, 
der innerhalb der Zeitdauer der Zwinkervorgdnge einer wachen Person 

30 und derjenigen einer schlafrigen Person liegt. 

Vorzugsweise umfasst der Ruckspiegel mindestens eine Leuchtdiode 
zumindest im Infrarotbereich, die mindestens dann aktiviert wird, wenn 
• die Helligkeit der Umgebung unzureichend wird, um das Gesicht des 
35 Fahrers zu erhellen, wobei der optoelektronische Sensor unter anderem 
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fur Infrarotstrahlen empfindlich ist, die von der Diode ausgesendet wer- 
d^n. 

Vorteilhafterweise sind der Sensor, die angeschlossene Elektronik und 
5 der integrierte Schaltkreis, in der Vorrichtung als auch in dem Ruckspie- 
gel der Erfindung, aus einer elektronischen Zelle (Chip) gebildet, die im 
Innern des Gehduses des Ruckspiegels angeordnet ist. 



' Nun ist unter Bezugnahme auf die beigefugten Zeichnungen eine be- 
10 vorzugte Ausfuhrungsform einer Vorrichtung nach der Erfindung be- 
schrieben, bei der das Verfahren nach der Erfindung angewendet wird, 
wie auch bestimmte alternative Ausfuhrungsforhnen desselben. Es zei- 
gen: 



15 Figuren 1 und 2 



Ansichten, jeweils von der Seite und von oben, die 
schematisch den Kopf eines Fahrers eines Kraftfahr- 
zeuges und seine Sehachsen nach vorne und nach 
hinten darstellen, 



20 Figur 3 



25 



30 



Figuren 4 und 5 



Figur 6 



schematisch die herkommliche Anordnung des 
Spiegels eines Innenruckspiegels in einem Kraftfahr- 
zeug und die verschiedenen Sehachsen des Fah- 
rers, wobei diese Figur dem Stand der Technik ent- 
spricht, ■ 

jeweils die Gesamtheit und die Gelenke eines 
Ruckspiegels rriit dem optoelektronischen Sensor 
und seiner angeschlossenen Elektronik im Rahmen 
der Erfindung, " 

das Feid des optoelektronischen Sensors, der in 
dem Ruckspiegel der Figuren 4 und 5 vorgesehen 
ist, • 
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Figuren 7 und 8 
Figuren 9 uncMO 

5 

Figuren 1 1 und 1 2 



10 

Figur. 13 



Figur 1 4 

15 

Figur 15 



20 

Zunachst ist unter Bezugnahme auf die Figuren 1 bis 6 eine ausfuhrliche 
Beschreibung der bevorzugten Ausfuhrungsform der Erfindung mit der- 
jenigeh der- optischen und mechanischen Vorrichtung mit dem optoe- 
lektronischen Sensor (Mikro-Videokamera Oder MOS-Sensor mit einge- 
25 bauter Linse) und seiner angeschlossenen Elektronik gegeben, die im 
Wesentlichen eine oder mehrere Zellen unnfasst, die das durch deh Sen- 
sor, aufgenommene Bild in ein Videosignal umwandeln, das bearbeitet 
wird, urn eine Neigung zum Einschlafen des von dem Sensor beobach- 
ten Fahrers an seinem Platzzu erfassen. 

30 

Tatsachlich wird fur die Erfindung die Verdnderung der Zei.tdouer der 
• Zwinkervorgange der Augen einer Person bei deren Ubergang vom 
wachen Zustand in den schldfrigen oder eingeschlafenen Zustand ver- 
wendet; wobei eine wache Person in relativ regelmaGigen Intervailen 



die Art der Eingrenzung des Gesichtes des Fahrers 
an seinem Platz, 

die Art der Eingrenzung der Augen des Fahrers an 
seinem Platz, 

Messung der Zeitdauer der Zwinkervorgdnge der 
Augen des Fahrers und der Zeitintervalle zwischen 
zwei aufeinander folgenden Zwinkervorgdngen, 

ein Ablaufdiagramm der aufeinander folgenden 
Funktionsphasen, 

die Vorteiie bei der Verwendung eines MOS-artigen 
Sensors als Sensor 

•eine alternative AusfOhrungsform der Figur 9, wobei 
der hauptsdchliche Beobachtungsabschnitt zusatz- 
lich zu den Augen die Nase unnfasst. 
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mit den Augenlidern und demnach den Wimpern bei ungefahr 100 bis 
200 ms schlagt, wohingegen die Zertdauer der Zwinkervorgdnge dieser 
Person im schlafrigen Zustand auf 500 bis 800 ms ansteigt, wobei die 
Zeitintervalle zwischen den Zwinkervorgangen ansteigen und dabei 
5 unterschiedlich sind, 

Bei dem Videosignal von dem dptoelektronischen Sensor mit 50 Oder 60 
entsprechenden Rastern (derseiben Art) pro Sekunde wird jeweils eine 
Erfassung dlle 20 ms oder 16,66 ms ausgefuhrt, die einfach ermoglicht, 

10 die Zeitdauern von 100 bis 200 ms oder von 500 bis 800 ms zu unter- 
scheiden (5 bis 10 Raster fur den wachen Zustand oder im Gegensatz 
dazu 25 bis 40 Raster fur den schlafrigen Zustand, im Falle von 50 Ras- 
tern derseiben Art pro Sekunde) und somit den wachen Zustand von 
dem schlafrigen oder eingeschlafenen Zustand einer Person zu unter- 

15- scheiden. 

Zur Verwendung einer solchen Unterscheidung fur den Fall des Fahrers 
eines Kraftfahrzeuges ist es wunschenswert, das Gesicht des Fahrers auf 
die beste Art zu sichtbar zu rriachen, das heiSt, die optische Eintritts- 

20 Oder Empfangsachse des Sensors auf das Gesicht desselben auszurich- 
ten. Das in der bevorzugteh Ausfuhrungsform der Erfindung vorgiesehe- 
he Mittel besteht darin, die Tatsache auszunutzen, dass^ein Fahrer den 
Ruckspiegel seines Fahrzeuges zu seinem Gesicht so einstejlt # _dass.^r 
eine Sicht nach d_er_^ck^ite_de^Fah^eu die Reflexion in 

25 • dem Spiegel des Ruckspjegels erhalt 

Es wird mit Bezugnahme auf die Figuren.l bis 3 auf die Funktionsweise 
der herkommlichen Ruckspiegel hingewiesen, die im Innern eines Fahr- 
- zeuges in einer mittleren Position angeordnet sind, wobei sie, mit der 
30 Moglichkeit, ihre Einstellung anzupassen, an einem Bereich der Karosse- 
rie im Innern des Fahrzeuges befestigt sind. 

Die schematischen Figuren 1 und 2 zeigen, jeweils von der Seite und 
von oben gesehen, den-Kopf T eines Fahrers, der die Strasse oder 
35 Landstrasse, auf der sich sein Fahrzeug befindet, einerseits vor sich (Pfeil 
1) und andererseits hinter sich (Pfeile 2a und 2b), dank des Spiegels 3 
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des angepasst eingestellten Ruckspiegels, beobachten kann. Die Pfeile 
], 2a 2b zeigen den Verlauf der Lichtstrahlen, wobei 2b dem von dem 
: Spiegel 3 reftektierten Strahl entspricht. 

5 Wenn nun die schematische Figur 3 berucksichtigt wird, die den Spiegel 
3 des Ruckspiegels darstellt, wobei der Spiegel mittels eines Armes .4 an 
einem Bereich 5 der Karosserie im Innern des Fahrzeuges mit der Mog- 
lichkeit zur Einstellung befestigt ist, tauchen die Beobachtungsachsen 
oder Pfeile 1, 2a, 2b der Figuren 1 und 2 wieder auf. Es wird darauf hin- 
10 gewiesen, dass die Achsen oder Pfeile 1 und 2b parallel verlaufen und 
entsprechend der Richfung der Strasse oder Landstrasse ausgerichtet 
. • sihd. 

In dieser Figur 3 ist ebenfalls, aber in gestrichelten Linien, die optische 
15 Achse 6 dargestellt, die senkrecht zu der Seite 3a des Spiegels 3 eines 
inneren Ruckspiegels verlauft, die den Winkel, der durch die Richtungen 
2a und 2b gebildet wird, nach den Reflexionsgesetzen in zwei gleiche 
Halften (gleiche Winkel a und b) teilt, und die Achse 7 senkrecht zu der 
Achse 2b und somit parallel zu dem Auflagebereich 5 ist, wobei der 
20 Winkel c zwischen den Richtungen 7 und 3a gleich den Winkeln b und 
a ist. 

An diese Funktionsprinzipien des inneren Ruckspiegels erinnernd, ist je.tzt 
mit Bezugnahme auf die Figuren 4 und 5 die mechanische Befestigung 

25 betrachtet, die es ermoglicht, die optische Eintrittsachse des optoe- 
lektronischen Sensors .wirkuhgsvoll auf das Gesichf des Fahrers an sei- 
nem Platz auszurichten, wobei die, Tatsache. genutzt wird, dass der 
Spiegel 3 eines Ruckspiegels auf den Fahrer an seinem Platz eingestellt 
wird, wenn dieses nicht schon der Fall ist, damit die Beobachtungsach- 

30 se 2a von dem Fahrer auf den Kopf 7 desselben ausgerichtet wird. 
Wenn ndmlich in der Tat die optische Eintrittsachse des Sensors wir- 
kungsvoll auf das Gesicht des Fahrers ausgerichtet ist, wird das von ihm 
erzeugte Videosignal die nptwendigen Informationen enthalten, um die 
Zeitdauern der Zwinkervorgdnge der Augen desselben zu bestimmen. 

35 
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Zu allererst umfasst der Ruckspiegel 8, im Rahmen der bevorzugten Aus- 
fuhrungsform der Erfindung, im Gegensatz zu herkommlichen Ruckspie- 
. geln, ein Spiegelglas 9 ohne Belag (Figur 4), dessen Seite 9a, die zu dem 
Fahrer gerichte! ist, dieselbe Rolle spielt, wie die Seite 3a des Spiegels 3 
5 eines herkommlichen Ruckspiegels (Figur 3), die es aber ermoglicht, 
dass ein Sensor 10, (der aus einer elektronischen Mikrokamera Oder ei- 
nem MOS-Sensor mit eingebauter Linse besteht) auf einer (mit dem be- 
lagloseo Spiegel 9 drehbaren) Auflage 1 1 angeordnet ist mindestens 
das Bild des Gesichtes des Fahrers an seinem Platz empfangen zu kon- 
10 nen, wenn der belaglose Spiegel 9 (mit dem Ruckspiegel 8) richtig von 
dem Fahrer eingestellt wird, um die Strasse Oder Landstrasse hinter sich 
wahrzunehmen, oder er ist schon derart eingestellt (wie dies der Fall bei 
dem herkommlichen Spiegel 3 der Figur 3 ist). 

15 Die mechanische Kardangelenkart, die in den Figuren 4 und 5 darge- 
stellt ist (diese letzte Figur ist eine detailliertere Ansicht eines Ausschnittes 
von der Figur 4), ermoglicht automatisch die korrekte Einstelluhg der 
Auflage 1 1 mit dem Sensor 10 durch den Fahrer, wenn er seinen Ruck- 
spiegel einstellt oder wenn derselbe schon eingestellt ist und somit der 

20 Empfangsseite 10a des Sensors 10, damit diese das Bild des Gesichtes 
des Fahrers an seinem Platz empfangen kann, wobei seine optische 
Eintrittsachse 10b aufgrund des Winkels zwischen .dem Spiegel 9 und der 
Auflage 1 1 des Sensors 10 auf den Kopf des Fahrers an seinem Platz ge- 
richtet ist. 

25 . 

Zu diesem Zweck umfasst das Gelenk fur die Auflage 1 1 zwei miteinan- 
der uber ein Kugelgelenk 14a (Figur 4) oder eine Muffe /4b (Figur 5) frei 
angelenkte Stangen 12 und 13. Die Stange 12 ist mit einem ihrer Enden 
an einem Bereich 5 der Karosserie befestigt und durchquert das Ge- 

30 hause des Ruckspiegels 8 aufgrund des Kugelgelenkes 1 5 (das aus einer 
Kugel und zwei im Wesentlichen halbkugelfdrmigen Kalotten besteht), 
bevor sie mit ihrem anderen Ende in die Muffe 14b einmundet oder an 
dem Kugelgelenk 14a befestigt ist, wahrend die Auflage 1 1 des Sensors 
10 starr an einem Ende der Stange 13 angeordnet ist,. die durch einen 

35 Bugel 1 6 des Ruckspiegels 8 aufgrund des hohlen Kugelgelenkes 1 7. (mit 
einer Kugel, durch die ein Kanal fuhrt, in den die Stange 13 eingreift und 
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sich in den beiden im Wesentlichen halbkugelformigen Kalotten dreht, 
die auf dem Bugel 16 angeordnet sind) hindurchgeht, bevor sie mit ih- 
rem anderen Ende wieder an dem Kygelgelenk 14a oder der Muffe 
14b ankommt. 
5 . • 

Solch ein Gelenk, das standig einen geeigneten Winkel zwischen dem 
Spiegel 9 und der Auflage 1 1 beibehdlt, ermoglicht gleichzeitig die ub- 
liche Einsteilung des inneren Ruckspiegels durch den Fahrer und die 
Einstellung der Auflage 11 des Sensors 10, damit die Seite 10a dieses 
10 Sensors das Bild von mindestens dem Gesicht des Fahrers an seinem 
Platz empfangt, wenn der Ruckspiegel passend eingestellt ist. 

Der bptoelektronische Sensor 10 gibt Ober eine Leitung 18 in einer elekt- 
ronischen Analyseeinheit 19 (die vorteilhafterweise aus einem Zellenge- 
15 hause besteht, oder aus Zeilen, die im Innern des Ruckspiegels 8 ange- 
ordnet sind) das Videosignal aus, das er von dem Bild, das er auf seiner 
Flache 10a empfangt, erarbeitet. 

Es konnen Leuchtdioden 20 vorgesehen werden, um, wenn der Ruck-. 

20 Spiegel richtig eingestellt ist, in Richtung des Fahrers an seinem Platz ei- 
ne Infrarotstrahlung auszusenden, die mindestens das Gesicht des Fah- 
rers an seinem Platz erhellen kann, wenn das Licht aus der Umgebung 
(eingeschlossen das des Armaturenbrettes) fur das korrekte Funktionie- 
ren des Sensors 10, der in diesem Fall fur Infrarotstrahlung empfindlich 

25 sein muss, und seiner Elektronikeinheit 19 nicht ausreichend ist; die mog- 
liche schrittweise Erregung dieser Dioden wird beispielsweise durch die. 
Elektronikeinheit 19 mit einer photoelektrischen Zelle (nicht dargestellt) 
oder als Reaktion auf Pixelsignale (in dem Videosignal) unzureichender 
Intensitat (wie schemati$ch durch die Leitung 21 dargestellt) gesteuert. 

30 

Der Alarm, der im Falle des Einschlafens des Fahrers von der Elektronik- 
einheit 19 aktiviert wird, ist schematisch bei 22 in Figur 4 dargestellt, in 
der die Versorgungen des Sensors 10, der Elektronikeinheit 19 und der 
Dioden 20 nicht dargestellt wurden, um diese Figur zu vereinfachen. 

35 



PotentonwoHe Wilcken & voiimonn 



24.09.2002 



20 



Die Einheit 19 konnte wahlweise auBerhalb des Gehauses des Ruck- 
spiegels angeordnet seiri. 

Nun ist die Bearbeitung des* Videosignales in der eiektronischen Analy- 
5 • seeinheit 19 erlautert, das von dem optoelektronischen Sensor 10 (mit 
elektronischer Mikrokamera oder MOS-Sensor mit eingebguter Linse, 
gefolgt von einer Elektronikeinheit) ausgegeben wurde, wobei dieses 
Videosignal eine Abfolge von entsprechenden Rastern (von derselben 
Art) bei einer Frequehz von 50 oder 60 solcher Raster pro Sekunde um- 

10 fasst (entweder gerade Raster oder ungerade Raster im Falle'.eines 
Signals mit zwei uberlagerten Rastern pro Bild, oder einzelne Raster im 
Falle eines Signales mit einem einzigen Raster pro Bild); wobei diese Be- 
arbeitung die Uberwachung des Wachsamkeitszustandes des Fahrers 
.. an seinem Pldtzzur Aufgabe hat, urn im Echtzeitverfahren und kontiriu- 

15 ierlich die Zeitdauer der Zwinkervorgange seiner Augen zu bestimmea 
und, im Falle der Neigung des Fahrers zum Einschlafen (angezeigt durch 
die Verdnderung dieser Zeitdauer), ein Alarmsignal auszulosen, das 
denselben aufwecken kann. 

20 Da das Verfahren und die Vorrichtung nach der vorliegenden Erfin- 
dung, urn eine Bewegungsbereich auszumachen und zu lokalisieren 
(ndmlich aufeinander folgend den Fphrer, sein Gesicht und seine Au- 
gen, insbesondere seine Augenlider) und um die RichtUng und mdgli- 
cherweise die Geschwindigkeit dieser Bewegung zu bestimmen, das 

25 Verfahren und die Vorrichtung nach den weiter vorstehend genannten 
Patentanmeldungen anwendea deren Beschreibungen in die vorlie- 
gende ausfuhrliche Beschreibung durch Bezugnahme einbezogen ist, 
ist .es nutzlich, den in diesen Patentanmeldungen beschriebenen Pro- 
zess zusdmmenzufassen. 

30 

In diesen Anmeldungen wird das Videosignal (das von einer Videoka- 
' merd oder einem anderen Sensor produziert wird), das eine Abfolge 
von Rastern derselben Art umfasst (gebildet von den entsprechenden 
Rastern, entweder gerade oder ungerade, im Falle eines Videosyste- 
35 mes mit zwei uberlagerten Rastern pro Bild, oder den aufeinander fol- 
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genden Rbstern im Falie eines Videosystemes mit einem einzelnen Ras-. 
ter pro Bild) bearbeitet, um aufeinander folgend 

ausden Veranderungen des Wertes Oder der Intensitat jedes 
5 Pixels zwischen einem Raster und dem entsprechenden vorher- 

gehenden Raster abzuleiten, 

einerseits ein Binarsignal, mit DP bezeichnet, dessen zwei 
mogliche Werte, der eine fur eine signifikante Verdnde- 
10 rung des Wertes des Pixels und der andere fur eine signifi- 

kante Nichtverdnderung dieses Wertes, reprdsentativ sind, 
wobei die bezeichneten Werte jeweils beispielsweise J " 
und ,,0" sind, und 

15 • andererseits ein Digitalsignal, mit CO bezeichnet, mit einer 

begrenzten Anzahl an moglichen Werten, wobei dieses 
Signal fur die GrdGe dieser Variation des Pixelwertes reprd- ' 
sentativ ist; und 

20 - gemaS einer Matrix durch Rollen Werte dieser beiden Signate DP • 
und CO fur einen selben Raster, der uber die Matrix ablauft, zu 
verteilen; und 

aus dieser Matrixverteilung die gesuchte Bewegung und ihre Pa- 
25 rameter (Lokalisierung, Ausrichjung und Geschwindigkeit) abzu- 

leiten. 

Diese letztere Operation der Erfassung der Bewegung verwendet vor- 
zugsweise nach diesen vorgenannten Patentanmeldungen, 



30 



die Bildung von Histogrammen nach zwei Achsen, beispielsweise 
Ox und Oy orthogonal, mindestens die Signale DP und CO, die 
matrixweise in dem vorhergehenden Vorgang verteilt wurden, 
und 
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das Feststelten jn jeweils den Histogrammen bezugfich DP und 
CO eines signifikanten Veranderungsbereiches von CO, wobei 
gleichzeitig DP = „ 1 " ist. 

Die vorliegende Erfindung fuhrt, durch die Anwendung des Verfahrens 
und der Vorrichtung nach den vorgenannten Patentanmeldungen, 
deren Wirkungsweise gerade zusammengefasst wurde, nacheinander 
aus 

in einer Einleitungsphase die Erfassung der Anwesenheit eines 
Fahrers an seinem Platz; 



in einer ersten Phase die Eingrenzung des Gesichtes des Fahrers 
in den aufeinander folgenden Rastern derselben oder entspre- 
15 chenden Art des Videosignales; 

in einer zweiten Phase die Eingrenzung der Augen des Fahrers 
innerhalb der Eingrenzung des Gesichtes; 

20 - in einer dritten Phase die Bestimmung der aufeinander folgen- 
den Zeitdauern der Zwinkervorgange der Augen des Fahrers und 
moglicherweise die Bestimmung der Zeitintervalle zwischen zwei 
aufeinander folgenden Zwinkervorgangen; 

25 - in einer vierten Phase den Vergleich der Zeitdauern der Zwinker- 
vorgange mit einem bestimmten Schwellenwert mit Erzeugung 
eines Alarmsignales, das den Fahrer aufweckt, sobald dieser 
Vergleich . das Uberschreiten des Schwellenwertes im oberen 
Wertebereich durch diese Zeitdauer aufzeigt, und moglicherwei- 

30 se den Zeitvergleich der Veranderungen der Zeitintervalle zwi- 

schen zwei aufeinander folgenden Zwinkervorgangen mit einem 
anderen Schwellenwert mit Erzeugung eines verstarkten Alarm- 
signales, sobald dieser Vergleich das Oberschreiten im oberen 
Wertebereich dieses letzten Schwellenwertes aufzeigt. 

35 
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Nun ist detaillierter jeweils- die Ausfuhrung dieser funf Phasen durch das 
Verfahren und die Vorrichtung nach der Erfindung beschrieben. 

Die Einleitungsphase, in der die Anwesenheit eines Fahrers an seinem 
Platz erfasst wird und in der die erste Phase der Eingrenzung des Gesich- 
tes eingel.eitet wird, wird durch einen Schalter ausgelost, der manuell 
oder auf andere Weise betdtigt wird, insbesondere durch Anwendung 
des Verfahrens und der Vorrichtung der vorgenannten Patentanmel- 
dungen; sie beginnt tatsachlich mit der Einstellung des Ruckspiegels, 
um die Vorderseite 9a desselben Spiegels 9 ohne Belag (Figur 4) auf 
den Fahrer auszurichtea damit er die Strasse oder Landstrdsse hinter 
sich in diesem Spiegel erkennt, im Falle, dass eine solche Einstellung er- 
forderlich ist, 

15 • Die Figur 6 illustriert zwischen den Richtungen 23a und 23b das Feld 23 
des Sensors 10, wobei sich der Kopf T des Fahrers aufgrund der Einstel- 
lung des inneren Ruckspiegels 8, wie mit Bezugnahme auf die Figuren 4 
und 5 beschrieben, innerhalb oder in dem mittleren Bereich dieses koni- 
schen Feldes 23 befinden muss. Dieses Feld kann relativ schmal sein, 

20 weil die Bewegungen des Kopfes T des Fahrers wdhrend des Fahrens 
begrenzt sind (auBer in seltenen Ausnahmen); die Begrenzung des Fel- 
des verbessert die Empfindlichkeit der Vorrichtung, weil das Bild des Ge- 
sichtes des Fahrers, das von der Flache 10a des Sensors empfangen 
wird, der zu derselben Zeit wie der Spiegel 9 korrekt eingestellt wird, nun 

25 eine relativ bedeutende Stelle in den Rastern des Videosignales ein- 
nimmt; es wird somit durch eine Pixelanzdhl vertreten, die einen be- 
achtlichen Anteil derGesamtpixelanzahl pro Raster ausmacht. 

In Figur 6 sind die Richtungen . oder Lichtstrahlen 1, 2a, und 2b von Figur 
30 3 wieder aufgenommen. « 

Das Einnehmen des Fahrers an seinem Platz wird vorteilhaft durch die 
Bewegungen seines Kopfes, insbesondere seines Gesichtes, um in Fahr- 
position zu kommen, durch. die Anwendung des Verfahrens und der 
35 Vorrichtung " der zwei vorgenannten Patentanmeldungen erfasst, die 
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ermoglichen, wie weiter oben kurz zusammengefasst, die Bewegungen 
zu erfassen.. 

Tatsachlich werden das Einnehmen des Fahrers an seinem Plafz und die 
5 daraus resultierende Bewegung seines Kopfes T .durch die bedeutende 
Pixelanzahl des Videosignales.angezeigt; fur welche das.Binarsignal DP 
den Wert „r aufweist, der einer signifikanten Verdnderung des Wertes 
an Pixei-n zwischen zwei entsprechenden, aufeinander folgenden Rds- 
tern entspricht und das Digitalsignal CO einen relativ hohen Wert auf- 
10 weist. 

Das Verhaltnis der Anzahl solcher Pixel (wenn DP und CO die oben de- 
finierten Werte aufweisen) zu der Gesamtpixelanzahl eines Rasters, 
beim Platznehmen des Fahrers, hangt van der GroBe des Sichtfeldes 

15 des Sensors auf der einen und der anderen.Seite des Kopfes T ab, der 
fur das Fahren an seinem Platz vorhandenen ist. Im Falle eines engen 
Sichtfeldes (reduzierter Winkel zwischen 23a und 23b Figur 6), kann bei- 
spielsweise angenommen werden, dass, wenn mehr als die Haifte der 
Pixel Jn Bewegung' 1 eines Rasters einen DP und einen CO mit daru- 

20 berhinaus angestiegenen Werten aufweisen, der Fahrer seinen Platz 
eingenommen ist. Von daher kann ein Schwellenwert von 50% zwischen 
. der Pixelanzahl Jn Bewegung' 1 und der Gesamtpixelanzahl eines Ras- 
ters angenommen werden und in diesem Falle endet die Einleitungs- 
phase, wenn dieser Schwellenwert im.oberen Wertebereich uberschrit- 

25 ten wird, mit der Erstellung eines Kennzeichens „ 1 der Anwesenheit, 
das die Folgebearbeitung des Videosignales einleitet, indem mit der 
.ersten Phase begonnen wird. Selbstverstdndlich kann der festgehaltene 
Schwellenwert fur das Auslosen *des Kennzeichens „1" sich, unter Be- 
rucksichtigung des Sichtfeldes des Sensors 10, um 50 % unterscheiden. 

30. • * 

Als Alternative kann das Kennzeichen J" der Anwesenheit, das dieers- 
te Phase einleitet, durch eine Steuerung erzeugt werden, die extern von 
der Elektronikeinheit 19 ist, die sie aber auslost, beispielsweise durch die 
Betdtigung des Zundschlussels, das Anlegen des Sicherheitsgurtes durch 

35 . den Fahrer oder. das Nachgeben des Sitzes des Fahrers unter seinem 
Gewicht. 
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Wenn die Anwesenheit des Fahrers gngezeigt und das Kennzeichen „1" 
der Anwesenheit produziert wurde, kann die erste Phase der Bearbei- 
tung des Videosignales beginnen. Sie besteht, wie schon vorstehend 
5 angefuhrt daraus,. das C^sjch t_d^Fg^ 

grenzen, indem uberflussige Bereiche, oben, u/jtfen, rechts und links des 
. Kopfes in dem Bild, das von dem Sensor 10 wdhrgenommen wird, aus- 

geschaltet werden. ! 

i 

10 Zu diesem Zweck, durch die Anwendung des/ Verfahrens und der Vor- 
.richtung nach der Erfindung, sind es die horizq^talen Bewegynge.p, das 
heiBt von rechts nach links und umgekehrt, die erfasst werden, weil der 
Kopf des Fahrers eine Neigung hat sich eher horizontal als vertikal, das 
heiBt von oben nach unten und umgekehrt, zu bewegen. 

15 

Es wird daher aus der Flut der Daten, die in den entsprechenden, auf- 
einander folgenden Rastern des Videosignales dargestellt werden, ein 
Signal der Horizontalbewegung in Stellung, Richtung und moglicherv/ei- 
se Geschwindigkeit, aufgrund der rollenden Matrix der. Werte. DP und 
20 CO, extrahiert, und es wird durch Auswahl mittels zweier Achsen der 
hauptsachlichen Koordinaten analysiert, beispielsweise die herkommli- 
chen Ox und Oy Achsen der kartesisch.en Koordinaten, durch Anwen- 
dung der Mittel zur Bildung von Histogrammen der vorgenannten Pa- 
tentqnrneldungen. 

25 

• Die Aufrechnung der Pixel am Ende der Raster, die fur eine horizontale 
Bewegung reprdsentativ sind, ermoglicht, die Spitzen der. Bewegung 
entlang der Gesichtsrander zu.erfassen, fur welche die Verdnderungen 
der Helligkeit, somit des Pixelwertes, die wichtigsten sind, sowohl in der 
30 . horizontalen Projektion nach Ox als auch in vertikaler Projection nach 
Oy beispielsweise. 

Dieses ist in Figur 7 dargestellt, in welcher die Achsen Ox und Oy sowie 
die Histogramme 24x.nach Ox, und 24y nach Oy dargestellt sind, dass 
35 heiBt jeweils in horizontaler und vertikaler Projektion. 
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■ Die Spitzen 25a und 25b des Histogramrnes 24x und 25c und 25d des 
Histogrammes 24y begrenzen jeweils durch ihre Koordinaten 26a 26b, 
26c, 26d einen Rahmen, der durch die Geraden Ya, Yb, Xc, Xd be- 
grenzt ist, der das Gesicht V des Fahrers einschiieBt, das jeweils von den 
5 Wellenlinien 27a 27b, 27c, 276 umgeben ist, die die leichten Bewegun- 
gen des Fahrers bei seinen Bewegungervin den Bereichen der groBeren 
Verdnderung der Intensitat der Pixel darstellen. 

Das Feststellen der Koordinaten 26a 26b, 26c und 26d , die den vier 
10 Spitzen 25a, 25b, 25c und 25d der beiden Histogramme 24x und 24y 

entsprechen, ermoglicht somit, die Stelle des Gesichtes V des Fahrers in 
. dem Bereich Z besser zu definieren und einzugrenzen und fur die weite- 

re Bearbeitung des Videosignales die oberen, unteren, rechten und 

linken Bereiche im Verhdltnis zu dem Rdhmen Xc, Xd, Ya, Yb auszu- 
15 schalten, wie dies in Figur 8 durch die schraffierten Bereiche, die das 

Gesicht V eingrenzen, dargestellt ist, wodurch die Genauigkeit und . 

moglicherweise die Frequenz der Analyse bezuglich des mittleren, nicht 

schraffierten Bereiches Z erhoht wird, der von den Geraden Xc, Xd, Ya, 

Yb eingegrenzt ist und das Gesicht V enthdlt. 

20 

Dieser Vorgang des Eingrenzens des gesamten Gesichtes wird in regel- 
mdBigeh Intervallen wiederholt, beispielsweise alle 10 Raster des Video- 
signales, und es werden die Miftelwerte (im Verlaufe der Zeit) der Koor- 
dinaten 26a 26b, 26c, 26d bestimmt, wobei der Rahmen ieicht veran- 
25 derlich, aber dennoch relativ stabil Xc, Xd, Ya, Yb urn das Gesicht V 
herum erneut definiert wird. Es wird somit festgestellt, dass die Position 
des Rahmens (mit dem beschrdnkten Bereich fur die spdtere Analyse) 
sehr stark ist, das heiBt stabil im Verlaufe der Zeit. 

30 Ein neues Kennzeichen „1" des eingegrenzten Gesichtes wird erzeugt, 
nachdem die Eingrenzung des Gesichtes V des Fahrers erstellt worden 
' ist. 

Die Erzeugung dieses Kennzeichens lost die zweite Phase aus, die darin 
35 besteht. den Bearbeitungsrahmen noch weiter zu reduzieren, namlich 
auf den der Augen des Fahrers. 
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Diese zweite Phase unnfasst vorzugsweise einen Einleitungsvorgang, der 
darin besteht, das gewohnliche anthropometrische Verhaltnis zwischen 
dem Bereich der Augen und der Gesamtheit des Gesichtes bei einem 
5 menschlichen Wesen in der Elektronikeinheit 19 zu verwenden, vor al- 
lem in vertikaler Richtung, wobei der Augenbereich nur einen begrenz- 
ten Anteil des gesamten Gesichtes einnimmt. 

Die Elektronikeinheit 19 bestimmt demnach in diesem Eihleitungsvor- 
10 gang im Verhaltnis einen eingeschrankteren Rahmen T, der die Augen 
U des Fahrers in dem vorhergehenden. Rahmen Z des Gesichtes V ein- 
schlieSt, der durch Ya, Yb, Xc, Xd, begrenzt ist, wobei dieser Rahmen T t 
wie in der Figur 9 dargestellt ist, durch die Geraden Y'a, Y"b, X'c und 
X'd innerhalb des Rahmens Ya, Yb, Xc, Xd (Bereich Z) definiert ist. 

J5 

Auf diese Weise werden die schraffierten duBeren Bereiche (einfache 
Schraffierung) in Figur 9 eliminiert, urn nur den Rahmen V zu behalten, 
wodurch die definitive Eingrenzung der Augen in der zweiten Phase 
vereinfacht und ihre Genauigkeit und die Geschwindigkeit ihrer Be- 
20 stimmung erhoht wird. 

Nach Beendigung dieses Einleitungsvorganges, wenn er stattfindet, 
wodurch ein Kennzeichen „1 " der groben Eingrenzung der Augen pro- 
duziert wird, oder direkt nach der erst.en Bearbeitungsphase, das heiSt 

25 jeweils als Reaktion auf die Erscheinung des KennzeichenSs,! 11 der gro- 
ben Eingrenzung der Augen . oder des Kennzeichens lf F des einge- 
grenzten Gesichtes, fuhrt die Elektronikeinheit 19 die zweite Phase der 
tatsachlichen, eingeschrankteren Eingrenzung der Augen des Fahrers 
aus, indem in der Matrix DP und CO die Anordnungen der Pixel fur 

30 welche DP = / und CO einen erhohten Wert registrieri insbesondere fur 
die Bewegungen in vertikaler Richtung aufgrund derTatsache, dass die; 
• Augenlider von oben nach unten und umgekehrt schlagen. 

Wenn die Anzahl solcher Pixelanordnungen einen bestimmten Schwel- 
35 lenwert in dem Rahmen Y'a Y'b, X'c, X'd (Bereich V) in dem Falle er- 
reicht, in dem der Einleitungsvorgang vorgesehen ist,. oder in dem 
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Rahmen Ya, Yb, Xc, Xd (Bereich Z) wenn kein solcher Einleitungsvor- 
gang vorgesehen ist, wobei dieser Schwelienwert beispielsweise 20% im 
Verhaltnis zu der Gesamtpixelanzahl in dem Rahmen Y'a, Y'b, X'c, X'd 
in dem ersten Fall und 10% im Verhaltnis zu der Gesamtpixelanzahl in 
5 dem Rahmen Ya, Yb, Xc, Xd in dem zweiten Fall betragt, wird ein Kenn- 
zeichen ,,1 " der feinen Eingrenzung der Augen erzeugt; dieses Kennzei- 
chen zeigt in der Tat an, dass die Augenlider des Fahrers aktiv sind. weil 
es durch die Zwinkervorgange der Augen des Fahrers provoziert wird; 
wobei die Bewegungen in der vertikalen Richtung. auf dieselbe Weise 
10 erkannt werden, wie die horizontalen Bewegungen des Gesichtes des 
Fahrers in der ersten Phase. 

In der Figur 10 ist der mogliche Rahmen Y'a Y'b, X'c, X'd, der den Be- 
reich T der grobeh Eingrenzung der Augen des Fahrers definiert, darge- 

15 stellt, sowie die Histogramme 28x nach der Achse Ox und 28y nach der 
Achse Oy der vertikalen Bewegungen der Augenlider des Fahrers, das 
heiBt von Pixeln der Matrix, die durch ihre DP und CO solche Bewegun- 
gen anzeigen. Diese Histogramme 28x und 28y, die den Histogrammen 
24x und 24y der horizontalen Bewegungen des Gesichtes des Fahrers 

20 . entsprechen und die in der Figur 7 dargestellt sind, bestimmen durch 
ihre Spitzen 29a 29b, 29c, 29d die horizontalen Geraden X"c und X"d 
- und die vertikalen Geraden Y"a und Y"b, die innerhalb des Bereiches 
V einen Bereich Z" definieren, der die Augen des Fahrers eingrenzt, 
deren Bewegungen der Rander bei 30a und 30b fur ein Auge und 30c 

25 und 30d fur das andere Auge angegeben werden. 

Die Position des Rahmens Y"a. Y"b, X' ! c, X"d wird durch Bestimmung 
der Mittelwerte im Verlaufe der Zeit, beispielsweise alle zehn Raster, der 
Koordinaten der Spitzen 29p, 29t>, 29c, 29d erneut aktualisiert und, ab 
30 ' der Erzeugung des Kennzeichens J" der feinen-* Eingrenzung der Au- . 
gen, sind es nur die Pixel, die in dem begrenzten Rahmen des Bereiches 
Z" enthalten sind, die in der dritten Phase bearbeitet werden, die durch 
dieses Kennzeichen ausgelost wird (wobei der Bereich Z M in der Figur 9 
in weiS dargestellt ist). 

35 
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In dieser drit.ten Phase werden die Zeitdauern der Zwinkervorgdnge der 
Augen und mdglicherweise die Zeitintervalle zwischen zwei aufeinander 
folgenden Zwinkervorgdngen bestimmt, wobei die Analyse der vertika- 
len Bewegungen der A.ugenlider in dem Bereich Z" durch die Bearbei- 
5 tung in der Elektronikeinheit 19 der Abschriitte der aufeinander folgen- 
den Raster des Videosignales, das diesem Bereich Z" entspricht, ver- 
bessert wjrd, wodurch eine grdSere Genauigkeit erzielt wird. 

In Figur 11 ist ein Koordinatensystem nach drei orthogonaien Richtun- 
10 gen untereinander dargestellt, ndmlich OQ, auf der CO eingetragen 
wurde, das heiBt die Intepsitdten der Verdnderung des Pixelwertes, der 
der vertikalen Bewegung der Augenlider entspricht, Ot auf der die Zeit- 
intervalle zwischen zwei aufeinander folgenden Zwinkervorgdngen ein- 
getragen wurden, und Oz, auf der die Zeitdauern der Zwinkervorgdnge 
15 eingetragen wurden, somit drei verschiedene Parameter, die es ermog- 
lichen, den Ubergang von dem wachen in den schlafenden Zustand 
des Fahrers zu bestimmen. Zwei aufeinander folgende Zwinkervorgdnge 
Ci und C2 sind in der Figur 1 1 dargestellt. 



20 Die Figur 12 illustriert durch die Kurve C auf dem Abschnitt (a) die Ver- 
. dnderung in der Zeit nach Ot der Pixelanzahl pro Raster bei signifikan- 
ter, vertikaler Bewegung (fur welche DP = J und CO einen relativ hohen 
Wert aufweisen), wobei die aufeinander folgenden Spitzen P/, P2. P3 der. 
- Pixelanzahl bei Bewegung diesen Zwinkervorgdngen entsprechen. 

25 * * • 

Die entsprechendea aufeinander folgenden Raster im Verhdltnis zu der 
Kurve C sind schematisch und zum Teil auf dem Abschnitt (bj.der Figur 
12 durch vertikale Striche dargestellt, wie 31, deren. Spitzen Pj, ?% P^je- 
weils durch Rechtecke-Pj, .Rz R3 begrenzt sind, wobei die beiden Ab- 
'30 schnitte (a) und fb/ der Figur 12, der eine unter dem anderen, in zeitli- 
cher Synchronisierung angeordnet sind. In dieser Figur 12 sind schlie8lich 
die Zeitdauern der Zwinkervorgdnge (5, 6, 5) und die Zeitintervalle (14, 
1 7) zwischen aufeinander folgenden Zwinkervorgdngen als Rasteran- 
zahl dargestellt, wobei die Werte dem wachen Zustand des Fahrers ent- 

35 sprechen. 
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In dieser dritten Phase berechnet die Elektronikeinheit 19 die aufeinan- 
der folgenden Zeitdauern der Zwinkervorgange der Augen und die 
aufeinander folgenden Zeitintervalle zwischen zwei nacheinander fol- 
genden Zwinkervorgangen und beretfet eine statistische zwei- 

5 dimensionale Analyse zwischen den aufeinander folgenden Dauern 
der Zwinkervorgange und den Zeitintervallen zwischen den Zwinkervor- 
gangen vor. Sie gibt an, ob die Zeitdauern der Zwinkervorgange einen 
bestimmten Schwellenwert, beispielsweise 350 ms Oberschreiten, und es 
wird in diesem Falle ein Kennzeichen n l" des uberschrittenen Schwel- 

10 lenwertes des Zwinkerns ausgelost und moglicherweise, wenn die Zeitin- 
tervalle zwischen zwei aufeinander folgenden Zwinkervorgangen relativ 
konstant sind oder im Gegenteil sich signifikant der Zeit verandern, wird 
in dem zweiten Fall ein Kennzeichen ,,1" fur unterschiedliche Zeitinter- 
valle zwischen Zwinkervorgangen ausgelost. 

15. y 

Das erste Kennzeichen dient dazu, einen beispielsweise akustischen 
Alarm auszulosen, der den Fahrer aufweckt, wohingegen das zweite 
Kennzeichen den Alarm verstdrkt, indem beispielsweise die Lautstarke 
erhohtwird.- 

20 

Das Ablaufdiagramm in Form derTafel 6 (Figur 13) fasst die verschiede- 
nen aufeinander folgenden Phasen zusammen. 

Der Dialog mit der AuSenseite wird vorzugsweise in serieller Weise (CAN 
25 - VAN) durchgefuhrt. 

Die Einheit, bestehend aus demi Sensor, der angeschlossenen Elektronik 
und dem Prbzessor oder Rechner, kann vorteilhafterweise in einer Elekt- 
ronikzelle (Chip) eingebaut sein, die in dem Innenruckspiegel des Fahr- 
30 zeuges angeordnet ist. ■ • 

Der Ruckspiegel der Figuren 4 und 5 ist sowohl fur einen Fahrer geeig- 
net, der den linken als auch den rechten Sitz einnimmt, fur die Lander 
mit Rechtssteuerung, und kann moglicherweise ein AuGenruckspiegel 
35 sein, insbesondere auf der Fahrerseite. 
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Es ist ganz besonders interessant, einen MOS-Sensor zu verwenden, der 
eine Bestimmung des Pixelwertes, Pixelposition fur Pixelposition ermdg- 
licht, ohne, wie es bei einem CCD-Sensor der Fall ist, die Pixelwerte Zeile 
fur Zeile und Position fur Position in jeder Zeile extrahieren zu mussen. 
5 • 

Wie in Figur 14 dargestellt, ist es also mogiich, eine veranderliche Aus- 
wahl der Pixelpositionen durchzufuhren: dnstatt (a) alle Pixelpositionen 
pp auf der Gesamtheit des Bildes zu untersuchen (gro6e Anzahl an Be- 
arbeitungen), konnen (b) nur bestimmte uberlagerte Pixel PP, die ein 
10 regelmd6iges Netz bilden, das die Gesamtheit des Bildes des Gesichtes 
des Fahrers und seiner unmittelbaren Umgebung darstellt (Zoomeffekt), 
untersucht werden; schlieBlich kann (c) ein besonderer Bereich ZP aus- 
gewahlt werden, namlich derjenige der Augen, indem nur.die Pixel die- 
ses Bereiches bearbeitet werden (konstantes Bearbeitungsvolumen). 

15 

In Figur 1.5, die eine Ausfuhrungsvariante der Figur 9 ist, deren Bezugs- 
zeichen ubernommen sind. ist vorgesehen, fur die Endphase der Uber- 
wachung des Fahrers nicht nur den Bereich der Augen (wie dies der Fall 
in der Figur 9 ist), sondern auch der Nasenflugel n der Nase N auszu- 
20 wahlen, wobei die Beobachtung der Bewegungen des auBeren Um- 
fanges oder dunkler Flecken der Nasenflugel ermoglicht, um den Erhalt 
des Beobachtungsabschnittes, der die Augen einschlieBt, zu verbes- 
sern. 

25 Selbstverstandlich ist die Erfindung weder auf die hier beschriebene und 
dargestellte, bevorzugte Ausfuhrungsform noch auf ihre vorgenannten 
alternativen Ausfuhrungsformen beschrankt; die Erfindung umfasst im 
Gegenteil auch Veranderungen, Alternativen und Verbesserungen, die 
im Rahmen der »Definitionen der Erfindung von dem Oberbegriff und 

30 den nachstehenden Patentanspruchen erfasst werden. 
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Patenfanspriiche 

1. Verfahren zur standigen Uberwachung des Wachsamkeitszu- 
5 standes des Fahrers eines Kraftfahrzeugs, um eine mogliche Nei- 

gung zum Einschlafen desselben zu erfassen und dieser vorzu- 
beugen, enthaltend 

in Echtzeit ein Videosignal zu erzeugen, das fur die auf- 
10 einander folgenden Bilder von mindestens dem Gesicht 

des Fahrers reprasentativ ist; 

dieses Signal aufeinander foigend und kontinuierlich zu 
bearbeiten, um 

15 

• , in diesem Signal den Abschnitt zu erfassen, der tat- 
sachlich dem Bild des Kopfes des Fahrers ent- 
spricht, 

20 • den Wert eines Parameters fOr den Lidschlag zu 

bestimmen, der sich beim Ubergang vom wachen 
in den schlafrigen Zustand des Fahrers beiderseits 
eines Schwellenwerts stark verandert, und 

25 • in Echtzeit die Uberschreitung dieses Schwellen- 

werts fur den Ubergang vom wachen in den schlaf- 
rigen Zustand des Fahrers durch den Wert dieses 
' Parameters zu erfassen; und 

30 - als Reaktion auf die Uberschreitung dieses Schwellenwerts ei- 

nen Alarm auszulosen; der den Fahrer aufzuwecken in der 
Lage ist; 



dadurch gekennzeichnet, dass 



35 
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einerseits das Videosignal erzeugt wird, indem ein opto 
elektronischer Sensor verwendet wird, der mit einem Ruck- 
spiegel des Kraftfahrzeugs fest verbunden und derart di- 
mensioniert und angeordnet ist, dass er im wesentlichen 
das Bild des Gesichtes des Fahrers, der sich auf seinem Sitz 
befindet, empfdngt und dessen optische Achse fur die 
Aufnahme der Lichtstrahlen zu dem Kopf des Fahrers ge- 
richtet ist, wenh der Ruckspiegel richtig ausgerichtet ist; 
und 

andererseits die Bearbeitung des Videosignals, nachdem 
die Anwesenheit des Fahrers an seinem Platz erfasst wur- 
de, aufeinander folgend und kontinuierlich darin besteht, 

15 ■ • aus einer Analyse der Pixel bei der Bewegung zwi- 

schen zwei aufeinander folgenden Rastern dersel- 
ben Art des Videosignals die horizontalen Bewe- 
gungen des Fahrers zu erfassea um das Gesicht 
desselben in den entsprechenden aufeinander fol- 

20 • genden Rastern des Videosignals einzugrenzen, 

aus einer Analyse der Pixel bei der Bewegung zwi- 
schen zwei aufeinander folgenden Rastern dersel- 
ben Art des Videosignals die vertikalen Bewegun- 
25 gen in dem auf diese Weise eingegrenzten Gesicht 

des Fahrers zu erfassen, um die Augen desselben 
einzugrenzea 

aus einer Analyse der Pixel bei der Bewegung zwi- 
30 ' schen zwei aufeinander folgenden Rastern dersel- 

ben Art des Videosignals die aufeinander folgen- 
den Zeitdauern des Zwinkerns der auf diese Weise 
eingegrenzten Augen desselben. zu bestimmen, 
wobei diese Zeitdauern den erwdhnten Parameter 
35 darstellen, 
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diese aufeinander folgenden Zeitdauern des auf 
diese Weise bestimmten Zwinkerns mit einem 
Schwetlenwert zu vergleichen, der fur den Uber- 
gang vom wachen in den schlafrigen Zustand des 
Fahrers reprasentativ ist, und 

einen Alarm, der den Fahrer aufweckt, auszulosen, 
wenn die Zwinkerdauer den Schwellenwert im obe- 
ren Wertebereich Oberschreitet. 



2. Verfahren nach Anspruch 1, dadurch gekennzeichnet daB der 
- Sensor in dem Gehause des Ruckspiegels hinter dem Glas des- 

selben a'ngeordnet ist welches von einem Spiegel ohne Belag 
gebildet wird, wobei die optische Empfangsachse (2a) des Sen- 
15 sors zu einer Achse (2b) symmetrisch ist die in der mittleren Verti- 

kalebene des Fahrzeugs in Bezug auf eine zu dem belaglosen 
. Spiegel orthogonale Achse (6) ausgerichtet ist. 

3. Verfahren nach Anspruch 1 oder 2, dadurch. gekennzeichnet, 
20 dass die Anwesenheit des Fahrers an seinem Platz erfasst wird, 

indem die Anzahl von entsprechenden Pixeln in den aufeinander 
folgenden Rastern derselben.Art des Videosignals bestimmt wird, 
fur die eine signifikante Bewegung erfasst wird, und indem diese 
Anzahl mit der.Gesamtpixelzahl pro Raster des Videosignals ver- 

25. glichen wird, urn zu bestimmen, ob das Verhaltnis zwischen der 

Anzahl von Pixeln, die eine Verschiebung darstellen, und der Ge- 
samtpixelzahl pro Raster eine Schweile Oberschreitet, die fur den 
Ubergang der Abwesenheit eines Fahrers an seinem Platz zur 
Anwesenheit eines Fahrers an seinem Platz reprasentativ ist. 

30 -< 

4. Verfahren nach Anspruch- 1, 2 oder 3, dadurch gekennzeichnet, 
dass zwischen den Phasen der Erfassung der horizontalen Bewe- 

. gungen, urn das Gesicht des Fahrers einzugrenzen, und der Er- 
fassung der vertikalen Bewegungen, um die Augen desselben 
35 . einzugrenzen, eine Phase der breiten Eingrenzung der Augen 

vorgesehen ist, indem ein Abschnitt des eingegrenzten Gesichtes 



Potentonwolte wiicken & vollmann 



24.09.2002 



35 



•• . 

♦ • • ! 
t t • » 

• • • 



herangezogen wird, der die Augen urid ihre unmittelbare Um- 
gebung umfasst, indem das anthropometrische Verhaltnis zwi- 
schen dem Abschnitt und dem ganzen Gesicht einer Person an-. 
gewandtwird. . 

5 - ' 

5. Verfahren nach einem der vorstehenden Anspruche, dadurch 

gekennzeichnet, dass gleichzeitig mit der Phase der Bestimmung 
der Zeitdauern des Augenzwinkerns eine Phase zur Bestimmung 
der Zeitintervalle zwischen zwei aufeinander folgenden Zwinker- 
10 vorgdngen derselben vorgesehen ist, und ein stdrkerer Alarm 

ausgelost wird, sobald diese Zeitintervalle eine UnregelmdBigkeit 
% aufweisen, die einen bestimmten Schwellenwert uberschreitet. 

6. Verfahren nach einem der vorstehenden Anspruche, dadurch 
15 gekennzeichnet, dass standig jene Daten wieder aktualisiert 

werdea die zumindest einen der folgenden Parameter betref- 
fen: horizontale Bewegungen, vertikale Bewegungen, Zeitdauer 
des Augenzwinkerns, Intervalle zwischen aufeinander folgenden 
Zwinkervorgangen, urn die Anndherungen der Normalwerte die- 
20 ser Parameter fur den tatsachlich anwesenden und sich im 

Wachzustand. befindlichen Fahrer zu verbessern. 

7. Verfahren nach einem .der vorstehenden Anspruche, dadurch 
gekennzeichnet, dass die verschiedenen aufeinander folgenden 

25 Phasen des Verfahrens mit Hilfe von aufeinander folgenden In- 

formatikprogrammen durchgefuhrt werden, die sich. auf die Be- 
arbeitung der aufeinander folgenden Werte der entsprechen- 
den Pixel der Raster derselben Art des Videosignals beziehen, 
welches von dem Sensor erhalten wird. 

30 

.8. Vorrichtung zur kontinuierlichen Oberwachung des Wachsam- 
keitszustandes des Fahrers eines Kraftfahrzeugs, urn eine eventu- 
elle Neigung zum Einschlafen desselben zu erfassen und dieser 
vorzubeugen, welche das Verfahren nach einem der Anspruche 
35 1 bis 7 anwendet und die dadurch gekennzeichnet ist, dass sie in 

Kombination umfasst: 
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a) einen optoelektronischen Sensor (10), .der in. Kombination 
mit einer angeschlossenen Elektronik (19) als Reaktion auf 
den Erhalt von Lichtstrahlen ein Videpsignai mit Rastern 

. 5 derselben Art oder eotsprechenden, aufeinander folgen- 

den ausarbeitet, wobei der Sensor mit einem Ruckspiegel 
. (8) des Kraftfahrzeugs verbunden und derart dimensioniert 
und angeordnet ist, ym im wesentlichen das Bjld des Ge- 
sichts des Fahrers, der sich auf seinem Sitz befindet, zu 

10 empfangen,. und dessen optische Achse (10b) zur Auf- 

nahme der Lichtstrahlen zu dem Kopf (T) des Fahrers ge- 
richtet ist, wenn der Ruckspiegel richtig ausgerichtet ist; 
und 

15 b) mindestens einen integrierten Schaltkreis, umfassend: 

Mittel zur Erfassung der Anwesenheit des Fahrers an 
seinem Platz in dem Fahrzeug und zur Ausarbeitung 
eines Anwesenheitssignals; • 

20 

Mittel, die durch dieses Anwesenheitssignal aktiviert 
werden, urn aus einer Analyse der Pixel bei der Be- 
wegung zwischen zwei aufeinander folgenden Ras- 
tern derselben Art des Videosignals die Horizontal- 

25 bewegungen des Fahrers zu erfassen, um das Ge- 

sicht (V) desselben in den aufeinander folgenden 
•Rastern derselben Art des Videosignals einzugren- 
zen und ein Endsignal der Gesichtseingrenzung 
auszuarbeiten; 

30 . i" 

- . Mittel, die durch das Endsignal der Gesichtsein- 
grenzung aktiviert werden, um aus einer Analyse 
der Pixel bei der Verschiebung zwischen zwei auf- 
. eindnder folgenden Rastern derselben Art des Ab- . 

35 schnittes der aufeinander folgenden Raster dersel- 

ben Art des der Gesichtseingrenzung entspre- 
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chenden Videosignals die Vertikalbewegungen in 
dem auf diese Weise eingegrenzten .Gesicht des 
Fahrers zu erfassen, um die Augen (U) desselben in 
dem Abschnitt der Raster dieses Signals einzugren- 
5 zen und ein Endsignal der Eingrenzung der Augen 

des Fahrers auszuarbeiten; 

. . - Mittel, die durch das Endsignal der Augeneingren- 
zung aktiviert werden, um aus einer Analyse der Pi- 

10 xel bei der Bewegung zwischen zwei aufeinander 

folgenden Rastern derselben Art des Abschnittes 
der aufeinander folgenden Raster derselben Art 
des Videosignals, das der Eingrenzung der Augen 
entspricht, die aufeinander folgenden Zeitdauern 

15 der Zwinkervorgange der Augen des . Fahrers zu 

bestimmen; 

Mittel um diese aufeinander folgenden Zwinker- 
zeitdauern, die auf diese Weise bestimmt wurdea 
20 mit einem Schwellenwert zu vergleichen, der fur 

den Obergang vom waehen in den schldfrigen Zu- 
stand des Fahrers reprdsentativ ist; und 

Mittel, um, wenn die Zwinkerzeitdauern den 
25 Schwellenwert uberschreiten, einen Alarm (22).aus- 

zulosen, der den Fahrer aufweckt. 

9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass 
der Sensor (10) in dem Gehduse des Ruckspiegels (8) hinter dem 
30 Spiegel desselben angeordnet ist, welchefi etn Spiegel (9) ohne 

Belag ist, wobei dieser Sensor (10) von einem ersten Ende einer 
■ ersten Stange (13) getragen wird, die uber ein Kugelgelenk (17) 
einen Bugel (16) durchquert, der von dem Gehduse des Ruck- 
spiegels (8) im Inneren desselben getragen wird, wobei das zwei- 
35 te Ende dieser Stange (13) mit Hilfe eines Gelenks (14a, 14b) am 

ersten Ende einer. zweiten Stange (12) frei angelenkt ist, die uber 
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ein Kugelgelenk (15) das Gehause des Ruckspiegels" (8) durch- 
quert, wdhrend das zweite Ende der zweiten Stange (12) an der 
Karosserie des Fahrzeugs (bei 5) uber der Windschutzscheibe be- 
festigt ist, so dass die optische Aufnahmeachse (2a) des Sensors 
5 zu einer Achse (2b) symmetrisch ist, die in der mittleren Vertikal- 

ebene des Fahrzeugs in Bezug auf eine orthogonaie Achse (6) 
des belaglosen Spiegels ausgerichtet ist. 

10. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, 
10 dass die Mittel zur Erfassung der Anwesenheit des Fahrers an sei- 

nem Platz und zur Ausarbeitung eines Anwesenheitssighals von 
Mitteln zur Bestimmung der Anzahl von Pixeln in den aufeinander 
folgenden Rastern derselben Art des Videosignals, fur die eine 
signifikante Bewegung erfasst wird, von Mitteln zum Vergleichen 

15 dieser Anzahl mit der Gesamtpixelzahl des Videosignals pro Ras- 

ter gebildet wird, um zu bestimmea ob das Verhdltnis zwischen 
der Pixeldnzahl, die einer Verschiebung entspricht, und der Ge- 
samtpixelzahl pro Raster einen Schwellenwert uberschreitet, der 
• fur den Ubergang vom Zustand der Abwesenheit eines Fahrers 

20 an seinem Platz in den Zustand der Anwesenheit eines Fahrers an 

seinem Platz reprasentativ ist. 

1 1. Vorrichtung nach Anspruch 8, 9 oder 10, dadurch gekennzeich- 
net, dass sie ferner Mittel umfassi die durch das Endsignal der 

25 Gesichtseingrenzung aktiviert werden, um in dem Abschnitt der 

aufeinander folgenden Raster des Videosignals, das der Eingren- 
zung des Gesichts entspricht, einen kleineren Abschnitt auszu- 
wahlen, der einer breiten oder groben Eingrenzung der Augen 
des Fahrers entspricht und die Augen und ihre unmittelbare Um- 

30 gebung durch Anlegen des anthropometrischen Verhdltnisses 

zwischen der breiten Eingrenzung und dem ganzen Gesicht einer 
Person umfasst, und Mittel, um ein Endsignal der breiten Eingren- 
zung der Augen auszuarbeiten, wobei dieses Signal die Mittel zur 
Erfassung der Vertikalbewegungen im Gesicht des Fahrers akti- 

35 viert. ■ 
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12. Vorrichtung nach einem der Anspruche 8 bis 11, dadurch ge- 
kennzeichnet, dass sie Mittel umfasst, die parallel mit den Mitteln 
zur Bestimmung der aufeinander folgenden Zeitdauern der Au- 
genzwinkervorgange funktionieren und somit von dem Endsignal 

5 der Augeneingrenzung • aktiviert werden, urn die Zeitintervalle 

zwischen zwei aufeinander folgenden Zwinkervorgangen zu 
bestimmen und einen stdrkeren Alarm auszulosen, sobald diese 
Zeitintervalle eine UnregelmaSigkeit aufweisen, die uber einen 
bestimmten Schwellenwert hinausgeht. 

10 

13. Vorrichtung nach einem der Anspruche 8 bis 12, dadurch ge- 
kennzeichnet, dass sie. Mittel zur kontinuierlichen Wiederaktuali- 
sierung der Daten umfasst die mindestens einen der folgenden 
Parameter betreffen: Horizontalbewegungen, Vertikalbewegun- 

15 gen, Dauer des Augenzwinkerns, Inten/alle zwischen aufeinander 

folgenden Zwinkervorgangen, um die Annaherungen der Nor- 
malwerte des Parameters zu verbessern, der fur den tatsdchlich 
anwesenden und sich im Wachzustand befindlichen Lenker gilt, 

20 14. . Vorrichtung nach einem der Anspruche 8 bis 13, dadurch ge- 
kennzeichnet, dass die Einheit optoelektronischer Sensor (10) - 
Elektronikeinheit (19) ein Videosignal erzeugt, das eine Aufein- 
anderfolge von entsprechenden Rastern derselb.en Art mit einer 
Aufeinanderfolge von Zeilen, die von einer Aufeinanderfolge von ■ 

25 Pixeln gebildet werden, umfasst, und das Videosignal bearbeitet, 

um aufeinander folgend: 

Verdnderungen des Wertes oder der Starke jedes Pixels 
zwischen einem Raster und dem entsprechenden vorher- 
30 gehenden Raster abzuleiten, 

einerseits ein Binarsignal, mit DP bezeichnet, dessen 
beide moglichen Werte einer fur eine signifikante 
Verdnderung des Wertes des Pixels und der andere 
35 fur eine signifikante Nichtverdnderung dieses Wer- 

tes reprdsentativ sind, und 
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• • andererseits ein Digitalsignal, mit CO bezeichnet, 
das eine verringerte Anzahl mdglicher Werte auf- 
weist, wobei dieses Signal fur die GrdBe dieser Ver- 
dnderung des Wertes des Pixels reprasentativ isi; 

gemaS einer Matrix durch Rollen Werte dieser beiden Sig- 
nale DP .und CO fur ein und denselben Raster, der Ober 
die Matrix ablauft, zu verteilen; und 

von dieser Matrixverteilung die gewOnschte Verschiebung 
und ihre Legalisations- und Ausrichtungsparameter abzu- 
leiten. 



15 15. Vorrichtung' nach einem. der Anspruche 8 bis 14, dadurch ge- 
kennzeichnet dass der Sensor (10), die zugehorige Elektronik (19) 
und der integrierte Schaltkreis aus einem Elektronikchip gebildet 
sind, der im Inneren. des Gehauses des Ruckspiegels (8) ange- 
ordnet ist. 

20 

16. . Rdckspiegel eines Kraftfahrzeugs, dadurch gekennzeichnet, dass 
sein Spiegel von einem belaglosen Glas (9) gebildet ist und dass 
er. hinter diesem Glas einen optoelektronischen Sensor (10) um- 
fasst, der mit einer Elektronikeinheit (19) zusammenwirkt, ein Vi- 
25 deosignal erzeugt, das eine Aufeinanderfolge von entsprechen- 

den Rastern derselben Art mit einer Aufeinanderfolge von Zeilen, 
■ gebildet aus einer Aufeinanderfolge von Pixeln, umfasst, und das 
Videosignal bearbeitet, urn aufeinander folgend: . 

30 - Verdnderungen des Wertes oder der Starke jedes Pixels 

zwischen einem Raster und dem entsprechenden vorher- 
gehenden Raster abzuleiten, 

einerseits ein Binarsignal, mit DP bezeichnet, dessen 
35 beide moglichen Werte einer fur eine signifikante 

Veranderung des Wertes des Pixels und der andere 
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fur eine signifikqnte Nichtverdnderung dieses Wer- 
tes reprasenfativ sind, und . 

andererseits ein Digitalsignal, mit CO bezeichnet, 
5 das eine verringerte Anzahl moglicher Werte auf- 

weist, wobei dieses Signal fur die GroBe dieser Ver- 
dnderung des Wertes des Pixels reprasentativ ist; 

gemdS einer Matrix durch Rollen Werte dieser beiden Sig- 
10 nale DP und CO fur ein und denselben Raster, der uber 

die Matrix ablauft, zu verteilen; und 

von dieser Matrixverteilung die gewunschte Verschiebung 
und ihre Lokalisations- und Ausrichtungsparameter abzu- 
15 leiten; und 

- ■ eine Alarmvorrichtung (22) auszulosen, sobald die Einheit 
bestimmt, dass die Vertikalbewegungen der Augenlider 
einer Person, die die Vorderfldche (9a) des Glases be- 
20 trachtet, einer Dauer der Zwinkervorgange der Augen 

entsprechen, die einen vorbestimmten Schwellenwert 
uberschreitet, eingeschlossen in den Zeitinten/alL der zwi- 
sehen der Dauer der Zwinkervorgange einer wachen Per- 
son und jener einen Person, die schldfrig ist, liegt. 

25 

17. Ruckspiegel eines Kraftfahrzeugs nach Anspruch 16, dadurch 
gekennzeichnet, dass der Sensor (10), die zugehorige Elektronik 
(19) und die integrierte Schaltung aus einem Elektronikchip ge- 
bildet sind, der im Inneren des Gehduses des Ruckspiegels (8) 

30 angeordnet ist. < 

18. Ruckspiegel eines Kraftfahrzeugs nach Anspruch 16 Oder 17, da- 
durch gekennzeichnet, dass er ferner mindestens eine Leuchtdi- 

■ ode (20) zumindest im Infrarotbereich tragt, die zumindest dann 
35 • aktiviert wird. wenn die Helligkeit der Umgebung unzureichend 

wird, um das Gesicht des Fahrers zu erhellen, und dass der op- 
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toelektronische Sensor (10) unter anderem fur Infrarotstrahlen 
empfindlich 1st, die von der Diode ausgesandt werden. 
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